Entropi (informationsteori)

For andre betydninger, se Entropi (flertydig)

Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.

I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.

Entropien ${\displaystyle S}$ er givet ved en sum over alle mulige tilstande:

hvor ${\displaystyle P_{i}}$ er sandsynligheden for tilstanden ${\displaystyle i}$.^[1]

Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:

${\displaystyle I_{i}=-\log _{2}P_{i}}$

For et system med forskellige udfald ${\displaystyle i}$ er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.^[2]

Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.^[3]

1. ^ Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (Third Edition). Academic Press. s. 51. ISBN 978-0123821881. Arkiveret fra originalen 17. juni 2020. Hentet 16. december 2019.
2. ^ Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 153-155. ISBN 978-0-19-856770-7.
3. ^ Blundell, Stephen J.; Blundell, Katherine M. (2006). "14.8 Entropy and probability". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 146-148. ISBN 978-0-19-856770-7.